โอยามะ เกิดในเมืองคาโงชิมะของแคว้นซัตสึมะ ในตระกูลซามูไร เขาเป็นบุตรบุญธรรมของโอกูโบะ โทชิมิจิ เขาเป็นส่วนหนึ่งที่ร่วมล้มล้างอำนาจของรัฐบาลโชกุนโทกูงาวะ และเป็นบุคคลหนึ่งที่มีบทบาทสำคัญในการฟื้นฟูพระราชอำนาจขององค์จักรพรรดิ โดยในสงครามโบชิง เขาเป็นผู้บัญชาการกองพันอิสระที่ 1

ในค.ศ. 1870 เขาถูกส่งไปศึกษาวิชาทหารที่โรงเรียนการทหารพิเศษเมืองแซ็งชีร์ (École spéciale militaire de Saint-Cyr) ประเทศฝรั่งเศส และเป็นหนึ่งในเจ้าหน้าที่ญี่ปุ่นที่ร่วมสังเกตการณ์ในสงครามฝรั่งเศส-ปรัสเซีย เขาเคยใช้เวลาสามปีในเมืองเจนีวาเพื่อศึกษาภาษาต่างประเทศ จนสามารถพูดภาษารัสเซียได้อย่างคล่องแคล่ว เขายังถือเป็นลูกค้าชาวญี่ปุ่นคนแรกในประวัติศาสตร์ของหลุยส์วิตตองที่ได้มีการบันทึกไว้ เขาเป็นบุคคลที่มีบทบาทสำคัญของกองทัพจักรวรรดิญี่ปุ่นในยุคพึ่งก่อตั้ง